Phép khử Gauss trên một ma trận n × n cần khoảng 2n3 / 3 phép tính toán. Do đó nó có độ phức tạp là O ( n 3 ) {\displaystyle {\mathcal {O}}(n^{3})\,} .

Thuật toán này có thể được sử dụng trên máy tính với hàng ngàn hệ phương trình và ẩn số. Tuy nhiên, phương pháp này không thích hợp với hệ có hàng triệu phương trình. Những hệ lớn như vậy thường được giải bằng các phương pháp lặp lại (iterative method). Có những phương pháp đặc biệt nếu như hệ số theo một khuôn mẫu nào đó.

Phép khử Gauss có thể được tiến hành trên bất cứ trường nào.

Phép khử Gauss là ổn định về phương pháp số cho các ma trận đường chéo chủ yếu hay xác định dương. Cho ma trận tổng quát, phép khử Gauss là ổn định nếu như sử dụng partial pivoting.[1]